Code completion aims to help improve developers' productivity by suggesting the next code tokens from a given context. Various approaches have been proposed to incorporate abstract syntax tree (AST) information for model training, ensuring that code completion is aware of the syntax of the programming languages. However, existing syntax-aware code completion approaches are not on-the-fly, as we found that for every two-thirds of characters that developers type, AST fails to be extracted because it requires the syntactically correct source code, limiting its practicality in real-world scenarios. On the other hand, existing on-the-fly code completion does not consider syntactic information yet. In this paper, we propose PyCoder to leverage token types, a kind of lightweight syntactic information, which is readily available and aligns with the natural order of source code. Our PyCoder is trained in a multi-task training manner so that by learning the supporting task of predicting token types during the training phase, the models achieve better performance on predicting tokens and lines of code without the need for token types in the inference phase. Comprehensive experiments show that PyCoder achieves the first rank on the CodeXGLUE leaderboard with an accuracy of 77.12% for the token-level predictions, which is 0.43%-24.25% more accurate than baselines. In addition, PyCoder achieves an exact match of 43.37% for the line-level predictions, which is 3.63%-84.73% more accurate than baselines. These results lead us to conclude that token type information (an alternative to syntactic information) that is rarely used in the past can greatly improve the performance of code completion approaches, without requiring the syntactically correct source code like AST-based approaches do. Our PyCoder is publicly available on HuggingFace.
translated by 谷歌翻译
Multi-hop reading comprehension requires not only the ability to reason over raw text but also the ability to combine multiple evidence. We propose a novel learning approach that helps language models better understand difficult multi-hop questions and perform "complex, compositional" reasoning. Our model first learns to decompose each multi-hop question into several sub-questions by a trainable question decomposer. Instead of answering these sub-questions, we directly concatenate them with the original question and context, and leverage a reading comprehension model to predict the answer in a sequence-to-sequence manner. By using the same language model for these two components, our best seperate/unified t5-base variants outperform the baseline by 7.2/6.1 absolute F1 points on a hard subset of DROP dataset.
translated by 谷歌翻译
场景图生成(SGG)是一项基本任务,旨在检测图像中对象之间的视觉关系。流行的SGG方法要求在培训集中给出所有对象类。这样的封闭设置限制了SGG的实际应用。在本文中,我们介绍了开放式视频范围场景图生成,这是一种新颖,现实且具有挑战性的环境,其中模型在一组基本对象类上进行了训练,但需要推断出看不见的目标对象类的关系。为此,我们提出了一种两步方法,该方法首先对大量的粗粒区域捕获数据进行预先培训,然后利用两种基于及时的技术来验证预先训练的模型而无需更新其参数。此外,我们的方法可以支持对完全看不见的对象类的推论,而现有方法无法处理。在三个基准数据集(视觉基因组,GQA和开放图像)上进行的广泛实验,我们的方法在OV-SGG的设置以及常规的封闭SGG上明显优于最近的强大SGG方法。
translated by 谷歌翻译
我们呈现横梁,一个大规模数据集,包括1500多个语言对的165万次交叉文章摘要样本,构成了45种语言。我们使用多语言XL-SUM数据集,并通过使用语言 - 不可知的表示模型通过跨语言检索对齐以不同语言编写的相同文章。我们提出了一种多级数据采样算法和微调MT5,这是一种多语言预制模型,具有横梁的明确交叉监管,并引入了评估交叉综述的新度量。成立和我们拟议的指标的结果表明,即使源和目标语言对遥远的速度和目标语言对,也表明,即使源极和目标语言对遥远的速度,也表明模型优于概要概述+翻译基线。据我们所知,Crosssum是最大的交叉汇总数据集,也是第一个不依赖英语作为枢轴语。我们正在发布数据集,对齐和培训脚本以及模型,以促使未来的交叉抽象摘要研究。可以在\ url {https://github.com/csebuetnlp/crosssum}中找到资源。
translated by 谷歌翻译
图表表示学习(GRL)对于图形结构数据分析至关重要。然而,大多数现有的图形神经网络(GNNS)严重依赖于标签信息,这通常是在现实世界中获得的昂贵。现有无监督的GRL方法遭受某些限制,例如对单调对比和可扩展性有限的沉重依赖。为了克服上述问题,鉴于最近的图表对比学习的进步,我们通过曲线图介绍了一种新颖的自我监控图形表示学习算法,即通过利用所提出的调整变焦方案来学习节点表示来学习节点表示。具体地,该机制使G-Zoom能够从多个尺度的图表中探索和提取自我监督信号:MICRO(即,节点级别),MESO(即,邻域级)和宏(即,子图级) 。首先,我们通过两个不同的图形增强生成输入图的两个增强视图。然后,我们逐渐地从节点,邻近逐渐为上述三个尺度建立三种不同的对比度,在那里我们最大限度地提高了横跨尺度的图形表示之间的协议。虽然我们可以从微距和宏观视角上从给定图中提取有价值的线索,但是邻域级对比度基于我们的调整后的缩放方案提供了可自定义选项的能力,以便手动选择位于微观和介于微观之间的最佳视点宏观透视更好地理解图数据。此外,为了使我们的模型可扩展到大图,我们采用了并行图形扩散方法来从图形尺寸下解耦模型训练。我们对现实世界数据集进行了广泛的实验,结果表明,我们所提出的模型始终始终优于最先进的方法。
translated by 谷歌翻译
近期和快速转变为大流行迅速的数字学习,也受到数字工具和平台无处不在的可用性的影响,使数字学习更加接近。扩展数字学习和教学中最困难的部分中的一个积分和一个是能够评估学习者的知识和能力。教育者可以录制讲座或创造数字内容,可以传递到数千名学习者,但评估学习者是非常耗时的。在本文中,我们提出了基于人工智能(AI)的解决方案,即VidVersityQG,用于自动从预先记录的视频讲座产生问题。基于从视频推断的上下文和语义信息,该解决方案可以自动生成不同类型的评估问题(包括短答案,多项选择,真/假并填写空白问题)。所提出的解决方案采用以人为本的方法,其中教师提供了修改/编辑任何AI生成的问题的能力。这种方法鼓励教师参与教育的使用和实施教育。评估了基于AI的解决方案,以便通过我们的行业合作伙伴Vidversity提供给我们的多个域名的经验丰富的教学专业人员和117名教育视频的准确性。 VidVersityQG解决方案显示有希望自动从视频产生高质量问题,从而大大减少了在手动问题中为教育工作者的时间和精力。
translated by 谷歌翻译
大量的现实数据可以由大规模网络自然表示,该网络需要高效有效的学习算法。同时,标签可能仅适用于某些网络,这要求这些算法能够适应未标记的网络。域自适应哈希学习在许多实际任务中在计算机视觉社区中取得了巨大的成功,因为在检索时间和存储足迹中的成本较低。但是,它尚未应用于多域网络。在这项工作中,我们通过为网络(称为Udah)开发无监督的域自适应哈希学习方法来弥合这一差距。具体而言,我们开发了四个{特定于任务但相关的}组件:(1)通过硬组对比损失进行网络结构保存,(2)无放松的监督哈希,(3)跨域相交的歧视者和(4)语义中心对齐。我们进行了广泛的实验,以评估我们方法对包括链接预测,节点分类和邻居建议在内的一系列任务的有效性和效率。我们的评估结果表明,我们的模型比所有任务上最先进的常规离散嵌入方法的性能更好。
translated by 谷歌翻译
这项研究旨在实现两个目标:第一个目标是策划一个大型且信息丰富的数据集,其中包含有关球员的行动和位置的关键和简洁的摘要,以及在专业和NCAA中排球的来回旅行模式Div-i室内排球游戏。尽管几项先前的研究旨在为其他运动创建类似的数据集(例如羽毛球和足球),但尚未实现为室内排球创建这样的数据集。第二个目标是引入排球描述性语言,以充分描述游戏中的集会过程并将语言应用于我们的数据集。基于精选的数据集和我们的描述性运动语言,我们使用我们的数据集介绍了三项用于自动化排球行动和战术分析的任务:(1)排球拉力赛预测,旨在预测集会的结果,并帮助球员和教练改善决策制定决策在实践中,(2)设置类型和命中类型预测,以帮助教练和球员更有效地为游戏做准备,以及(3)排球策略和进攻区统计,以提供高级排球统计数据,并帮助教练了解游戏和对手的策略更好的。我们进行了案例研究,以展示实验结果如何为排球分析社区提供见解。此外,基于现实世界数据的实验评估为我们的数据集和语言的未来研究和应用建立了基准。这项研究弥合了室内排球场与计算机科学之间的差距。
translated by 谷歌翻译
多视图学习是一个学习问题,它利用对象的各种表示来挖掘宝贵的知识并提高学习算法的性能,并且多视图学习的重要方向之一是子空间学习。正如我们所知,自动编码器是深度学习的方法,它可以通过重建输入来学习原始数据的潜在特征,并基于这一点,我们提出了一种名为基于自动编码器的共训练多视图学习的新算法(ACMVL)利用互补性和一致性,并找到多个视图的联合潜在特征表示。该算法有两个阶段,首先是培训每个视图的自动编码器,第二阶段是训练监督网络。有趣的是,两个阶段部分地分享权重,并通过共同培训过程互相帮助。根据实验结果,我们可以学习良好的潜在特征表示,并且每个视图的自动编码器具有比传统的自动编码器更强大的重建能力。
translated by 谷歌翻译
多视图学习通过LEVERAG-ING-ING-ING相同对象之间的关系来完成分类的任务目标。大多数现有方法通常关注多个视图之间的一致性和互补性。但并非所有这些信息都非常有用于分类任务。相反,它是扮演重要作用的具体辨别信息。钟张等。通过联合非负矩阵分组探讨不同视图中的共同视图中存在的判别和非歧视信息。在本文中,我们通过使用跨熵损耗函数来改善该算法来改善目标函数更好。最后,我们在相同数据集上的原始实施更好的分类效果,并在许多最先进的算法上显示其优越性。
translated by 谷歌翻译